Het kasteel van Branchon werd vooraf gegaan door een veel ouder kasteel dat zich op de plaats van de huidige vijver bevond. Resten van het oude kasteel, waar heel weinig informatie over bestaat, kan men terugvinden op een klein eiland in het midden van de vijver.
Branchon was in de middeleeuwen in handen van de graven van Namen. In de dertiende en veertiende eeuw speelde de familie de Branchon een belangrijke rol in het graafschap Namen, waar veel van haar leden het hoogste ambt bekleden. Nakomelingen van de familie de Branchon verkochten het leengoed in de vijftiende eeuw aan Etienne de Marille dat later werd overgedragen aan Henri Charlet. In de achttiende eeuw ging het leengoed door huwelijk, naar de familie de Bruges.
Baron Joseph de Bruges de Branchon bouwde in de negentiende eeuw het huidige neoklassieke kasteel. In de twintigste eeuw werd het kasteel van Branchon gerestaureerd. Het onderscheidt zich door de soberheid van versieringen en door een zeer mooie witte stenen zuilengang.